Объясните виды sampling при генерации? top-k, top-p
В процессе генерации текста с помощью нейронных сетей используются различные методы семплирования (sampling), чтобы определить следующий символ или слово в последовательности. Вот основные методы:
▫️top-k sampling. При таком семплировании отфильтровываются k наиболее вероятных следующих слов в последовательности. Значение k выбирается заранее. Вероятностная масса перераспределяется только между этими k словами.
▫️ nucleus sampling (top-p). При top-p семплировании выбор идёт из наименьшего возможного набора слов, суммарная вероятность которых превышает вероятность p. Затем вероятностная масса перераспределяется среди этого набора слов.
Объясните виды sampling при генерации? top-k, top-p
В процессе генерации текста с помощью нейронных сетей используются различные методы семплирования (sampling), чтобы определить следующий символ или слово в последовательности. Вот основные методы:
▫️top-k sampling. При таком семплировании отфильтровываются k наиболее вероятных следующих слов в последовательности. Значение k выбирается заранее. Вероятностная масса перераспределяется только между этими k словами.
▫️ nucleus sampling (top-p). При top-p семплировании выбор идёт из наименьшего возможного набора слов, суммарная вероятность которых превышает вероятность p. Затем вероятностная масса перераспределяется среди этого набора слов.
#NLP #глубокое_обучение
BY Библиотека собеса по Data Science | вопросы с собеседований
Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283
The global forecast for the Asian markets is murky following recent volatility, with crude oil prices providing support in what has been an otherwise tough month. The European markets were down and the U.S. bourses were mixed and flat and the Asian markets figure to split the difference.The TSE finished modestly lower on Friday following losses from the financial shares and property stocks.For the day, the index sank 15.09 points or 0.49 percent to finish at 3,061.35 after trading between 3,057.84 and 3,089.78. Volume was 1.39 billion shares worth 1.30 billion Singapore dollars. There were 285 decliners and 184 gainers.
Telegram has exploded as a hub for cybercriminals looking to buy, sell and share stolen data and hacking tools, new research shows, as the messaging app emerges as an alternative to the dark web.An investigation by cyber intelligence group Cyberint, together with the Financial Times, found a ballooning network of hackers sharing data leaks on the popular messaging platform, sometimes in channels with tens of thousands of subscribers, lured by its ease of use and light-touch moderation.Библиотека собеса по Data Science | вопросы с собеседований from ms
